XTSC-Bench: Quantitative Benchmarking for Explainers on Time Series Classification

Despite the growing body of work on explainable machine learning in time series classification (TSC), it remains unclear how to evaluate different explainability methods. Resorting to qualitative assessment and user studies to evaluate explainers for TSC is difficult since humans have difficulties understanding the underlying information contained in time series data. Therefore, a systematic review and quantitative comparison of explanation methods to confirm their correctness becomes crucial. While steps to standardized evaluations were taken for tabular, image, and textual data, benchmarking explainability methods on time series is challenging due to a) traditional metrics not being directly applicable, b) implementation and adaption of traditional metrics for time series in the literature vary, and c) varying baseline implementations. This paper proposes XTSC-Bench, a benchmarking tool providing standardized datasets, models, and metrics for evaluating explanation methods on TSC. We analyze 3 perturbation-, 6 gradient- and 2 example-based explanation methods to TSC showing that improvements in the explainers' robustness and reliability are necessary, especially for multivariate data.Comment: Accepted at ICMLA 202

Abschlussbericht des Forschungsprojekts "Broker für Dynamische Produktionsnetzwerke"

Der Broker für dynamische Produktionsnetzwerke (DPNB) ist ein vom Bundesministerium für Bildung und Forschung (BMBF) gefördertes und durch den Projektträger Karlsruhe (PTKA) betreutes Forschungsprojekt zwischen sieben Partnern aus Wissenschaft und Wirtschaft mit einer Laufzeit von Januar 2019 bis einschließlich Dezember 2021. Über den Einsatz von Cloud Manufacturing sowie Hard- und Software-Komponenten bei den teilnehmenden Unternehmen, sollen Kapazitätsanbieter mit Kapazitätsnachfrager verbunden werden. Handelbare Kapazitäten sind in diesem Falle Maschinen-, sowie Transport- und Montagekapazitäten, um Supply Chains anhand des Anwendungsfalls der Blechindustrie möglichst umfassend abzubilden. Der vorliegende Abschlussbericht fasst den Stand der Technik sowie die Erkenntnisse aus dem Projekt zusammen. Außerdem wird ein Überblick über die Projektstruktur sowie die Projektpartner gegeben